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摘 要 : 对 连续 动作 强化 学 习 自 动机 (CARLA) 进行 了 改进 ， 应 用 改进 后 的 CARLA 结合 粒子 群 优化 算法 (PSO) 优 
化 PID 参数 。 以 CARLA 为 基础 ， 建 立 了 CARLA 和 了 SO 的 组 合 优化 学 习 模型 CARLA-PSO， 该 模型 包含 CARLA 学 
习 环 路 和 了 PSO 学 习 环 路 两 个 部 分 ， 通 过 优化 策略 选择 器 进行 学 习 环 路 的 选择 ， 通 过 与 环境 进行 相互 作用 ， 获 得 最 优 控 
制 。 本 文 对 连 铸 结 蝎 器 液 位 控制 进行 了 仿真 实验 ， 实 验 结 果 表 明 ，CARLA-PSO 在 进行 PID 参数 优化 时 寻 优 效率 高 ， 
全 局 搜索 能 力 强 ， 能 够 达到 理想 的 控制 效果 。 有 具有 和 较 好 的 应 用 前 景 
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ABSTRACT This paper presented a hybrid approach involving continuous action reinforcement learning automata (CARLA) 
and particle swarm optimization (PSO) to design a optimal and intelligent proportiona-lintegral-derivative (PID) controller of 
an mould level control system. The proposed method is CARLA which is able to explore and learn to improve control 
performance without the knowledge of the analytical system model. CARLA-PSO is composed of two sections which are the 
CARLA learning loop, and the PSO learning loop, and select learning loop according to the Optimal policy selector. CARLA- 
PSO is a method that combines the features of PSO and CARLA in order to improve the optimize operation through interaction 
with the environment. The experimental results show that CARLA-PSO was indeed more efficient in improving the step response 
of an mould level control system. 
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复杂 与 难 控 系统 的 主要 途径 。 针 对 传统 PID 控制 方法 在 结晶 器 


液 位 控制 中 的 不 足 ， 童 朝 南 中 等 将 一 种 基于 遗传 算法 的 有 约束 
结晶 器 是 连 铸 机 上 的 重要 设备 ， 其 液 位 的 控制 精度 对 提高 。 广义 预测 控制 方法 应 用 于 结晶 器 液 位 控制 ， 控 制 效果 优 于 传统 


生产 率 、 生 产 特殊 钢材 、 降 低 连 铸 的 漏 钢 事 故 率 有 重要 意义 1。 PID 控制 。 为 了 实现 结晶 器 液 位 PID 控制 器 参数 的 自 整定 ， 


于 结晶 器 液 位 控制 系统 具有 非 线性 、 强 耦合 等 特点 ， 且 扰动 ”光明 只 等 提出 了 模糊 自 适 应 PID 控 和 
因素 较 多 证 ， 传 统 的 PID 控制 只 在 特定 工艺 条 件 下 才能 实现 较 ”基于 变 惯 性 性 权重 和 多 种 群 并 行 优化 策略 的 改进 PSO 算法 
好 的 液 位 闭环 控制 。 PSO 是 一 种 基于 种 群 的 随机 优化 技术 ,被 广泛 用 于 解 讨 
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集 略 ; 房 启 超 外 等 提出 了 


o 


多 


智能 控制 理论 是 对 人 或 动物 局 部 智能 的 模仿 ， 已 成 为 解决 目标 、 多 参数 的 学 习 优 化 问题 553。 强化 学 习 (RL) 是 一 种 在 线 
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的 ， 介 于 监督 学 习 和 非 监督 学 习 之 间 的 机 器 学 习 方 法 外， 已 被 
用 于 导弹 制导 控制 与 飞机 的 智能 逃避 00、 机 器 人 在 未 知 环境 
的 自动 避 障 00、 学 习 型 双 连 杆 机 械 臂 的 控制 02] 等 智能 控制 
领域 。 学 习 自 动机 (LA) 是 强化 学 习 的 主要 工具 031]，CARLA 
是 其 中 的 一 种 ， 其 主要 特点 是 可 以 输出 连续 的 动作 ， 具 有 很 强 
的 全 局 搜索 能 力 。MN Howell04 等 人 将 CARLA 方法 应 用 于 发 
动机 怠速 系统 PID 控制 器 的 参数 整定 ， 在 系统 模型 信息 不 足 的 
情况 下 ,有 效 的 解决 了 车 辆 尾气 排放 超标 和 汽车 失速 的 问题 ; M 
Kashki05 等 人 将 CARLA 方法 应 用 于 功率 同步 发 电机 自动 电压 
骨节 器 PID 参数 自 整 定 ， 仿 真 结果 证 明 ， 与 PSO、 遗 传 算法 相 
比 ， 该 方法 具有 更 高 的 控制 精度 。 

本 文 以 CARLA 为 基础 设计 了 CARLA-PSO 组合 优化 模型 ， 
该 组 合 优化 模型 优化 过 程 分 为 两 个 阶段 ， 每 个 阶段 分 别 对 应 着 
CARLA 学 习 环 路 、PSO 学 习 环 路 。 前 期 阶段 采用 CARLA 进 
行 “ 粗 调 ” 优 化 ， 使 环境 适应 度 评 价值 迅速 收敛 到 稳定 状态 ; 
后 期 阶段 采用 PSO 进行 “微调 ” 优化， 进一步 提 高 环境 适应 度 
价值 的 精度 。 该 模型 在 连 铸 结 晶 器 液 位 控制 器 的 参数 在 线 学 
习 优 化 中 表现 良好 。 
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1 ”CARLA-PSO 组 合 模 型 的 设计 


本 文 建立 了 一 种 CARLA-PSO 组 合 模 型 ， 用 于 智能 控制 器 
参数 在 线 学 习 优化 。 如 图 2 所 示 ， 通过 “策略 选择 器 ”进行 学 
习 环 路 选择 。 启 动 “ 策 略 选择 器 ” 利用 CARLA 学 习 环 路 进行 
全 局 搜索 , 当 环境 适应 度 值 将 为 学 习 环 路 启动 时 的 10% 时 ,“ 策 
略 选择 开关 ” 拨 至 PSO 学 习 环 路 继续 搜索 最 优 参数 。 具 体 步 骤 
如 下 : 

a) 初 始 化 参数 , 例如 : 迭代 次 数 、 种 群 个 数 、 粒 子 范围 等 。 


b) 通 过 CARLA 学 习 环 路 确定 PSO 学 习 环 路 粒子 初始 位 置 。 


9 计算 每 一 代 的 环境 适应 度 值 。 


qd) 计算 每 一 代 每 个 粒子 群 的 局 部 最 优 位 置 和 全 局 最 优 位 置 。 


e) 更 新 粒子 群 速度 、 位 置 、 局 部 最 优 位 置 、 全 局 最 优 位 置 。 
人 重复 步骤 c)~e)， 直 到 达到 最 大 代数 或 连续 和 m 代 环 境 适应 
度 值 不 在 发 生变 化 。 


生 行为 向 量 


{X1,X2,...,Xn} 


策略 选择 器 


( CARLA (XIX Xo) PSO | Pa 天 全 
随机 行为 发 生 器 一 "一 .一 .一 -> | 随机 行为 发 生 器 | | 人 1 
| 为， 
分 布 集合 gbest | 评 | 
{KxDWxa) xs)} {Pbest1, Pbest2,...,Pbestn} | 全 | 
pi 人 ~、 We \ 价 | 


/xl CARLAI /Peres < PSOI 


flx2) 4— CARLA2 | Poest2 PS02 
| . | . 
\ . \ . | 
\ . | 
al caRran Ne | Ps03] / 
全 J > 一 义 习 子 系统 
学 习 子 系统 不 B 学 习 子 系 乡 


图 1 CARLA-PSO 组 合 模型 学 习 环 路 
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1.1 CARLA 学 习 环 路 设计 

CARLA 通过 试 错 、 随 机 行为 选择 与 未 知 或 随机 环境 交互 
获得 策略 的 改进 ， 应 用 于 连续 变化 参数 的 在 线 寻 优 。 与 常用 的 
强化 学 习 不 同 的 是 ，CARLA 采用 连续 行为 空间 取代 离散 行为 
空间 ， 通 过 概率 密度 函数 获得 收敛 信息 ， 因 此 CARLA 更 适合 
于 具有 连续 特征 的 工程 应 用 当中 。 

每 个 学 习 变量 对 应 一 个 CARLA， 每 个 参数 的 学 习 过 程 独 
立 运行 ， 将 它们 联系 起 来 的 唯一 因素 是 动力 学 环境 ， 并 且 它 们 
共享 代价 函数 。 在 每 个 自动 机 中 ， 每 个 行为 x 都 对 应 着 一 个 概 
率 密度 函数 f(x,) 作为 行为 选择 的 依据 。 借 助 强化 信号 5 产生 
表现 更 好 的 行为 集合 ， 通 过 学 习 子 系统 增 大 该 行为 集合 被 重新 
选择 的 概率 。CARLA 学 习 环 路 的 设计 主要 有 以 下 几 步 : 

a) 初始 化 密度 函数 。 采 用 均匀 分 布 的 形式 初始 化 概率 密度 
函数 ， 即 根据 每 个 参数 的 范围 ， 其 最 大 值 与 最 小 值 之 差 的 倒数 
作为 概率 密度 函数 ， 有 具体 公式 如 下 : 


瑞 和 | 


WT 


二 | 


一 Xe [xin Xnax | 
f(x) = Xnin 一 Xinax (1) 


0 其 他 


eras 


其 中 : x ={%, 鸭 …%} 为 决策 行为 ，f ={f, 记 … 了 } 对 应 每 一 个 
行为 的 密度 函数 。 
b) 行 为 选择 。 


| fx kdx, =z(k) O) 


其 中 : 随机 数 z 取 值 范围 (0,1), 将 行为 集合 输入 到 环境 中 , 通 
过 预先 定义 好 的 代价 函数 得 到 代价 值 y(k) 

0) 行 为 表现 评估 计算 。 得 到 代价 值 J(k) 后 ， 根 据 下 
式 评估 行为 表现 评估 : 


也 的 公 


pu -min mero | | (3) 


= 
其 中 ， 通 过 当前 代价 值 J(k) 与 历史 代价 值 集合 中 最 小 值 Tu、 
中 位 值 /us 的 比较 ， 得 当前 行为 的 好 坏 权重 。 其 中 行为 表现 强 
化 信号 6 e[0.1] ， 越 接近 1， 说 明 行 为 表现 越 好 。 越 接近 0， 说 
明 行为 表现 越 差 。 
d) 更 新 概率 密度 函数 。 
RN x Exar] (4) 


min 


0 其 他 
其 中 ， 二 (x) 为 高 斯 近邻 函数 ， 其 值 可 以 改变 行为 的 可 能 性 。 


2 
H(x,7) = Aexp - 1 | 
7 


(Kk) 一 1 


[G+ BORG ds 


[24 


1 Ey. Bh 
(Kirax Xuin) 


oO= 六 — Xin) 


其 中 : gh? g, 分 别 为 高 斯 分 布 函 数 的 高 度 和 宽度 ， 其 值 可 以 决 
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录用 稿 
定 学 习 的 速度 : ,为 本 次 学 习 得 到 的 动作 值 。w 称 为 归 一 化 因 


子 ， 可 使 密度 函数 f 保持 在 [0,1] 内 。 
1.2 一 种 改进 的 CARLA 


CARLA 的 动作 集 是 一 个 有 限 的 区 间 ， 并 采用 一 种 非 参数 
化 的 概率 模型 。 其 初始 动作 概率 为 均匀 分 布 ， 在 学 习 过 程 中 一 
个 对 称 的 高 斯 近邻 函数 ， 将 表现 较 好 的 动作 的 奖赏 “传播 ”给 
相 邻 动作 。 由 于 使 用 非 参数 化 的 概率 模型 。 该 方法 对 概率 分 布 
的 计算 、 存 储 和 更 新 相当 复杂 ， 同 时 在 每 次 学 习 中 都 必须 进行 


积分 函数 的 更 新 ， 积 分 方程 的 求解 ， 计 算 代 价 很 高 ， 算 法 的 实 
时 性 差 。 
为 克服 现 有 算法 的 不 足 ， 本 文 对 CARLA 做 了 


些 改进 ， 


采用 式 (5) 更 新 行为 向 量 。 
norm(x.(k), we 2)) Xe xx ] 
大 1 a 1 i min Iax 5 
| #(h) 其 他 ” 《) 
其 中 : norm(1,0) 为 正 态 随机 数 发 生 器 ， 其 中 /w 为 期 望 ，e 为 


方差 。w 学 习 速率 因子 。 图 2 为 改进 前 后 算法 执行 速率 对 比 ， 
图 易 知 ， 改 进 前 的 CARLA 在 一 定 次 数 的 学 习 后 ， 算 法 执行 


aiy 合 作 期 刊 


In 三 
谷 学 静 ， 等 : 基于 CARLA-PSO 组 合 模 型 的 智能 控制 器 参数 


Vi? i(k+1)= Crandom(0, LD)(pbest(k)— XX, (Kk)) 

Vey(k+D) = C,random(0,D)(gbest(k)— P,(k)) 
其 中 : i=1,2,…,N ，N 为 粒子 群 的 总 数 。4d =1,2,…n ，n 为 行 
为 个 数 ，V 为 第 ;个 粒子 中 第 gq 个 行为 的 速度 ，X, 为 第 ;个 粒 
子 中 第 4q 个 行为 的 位 置 。 5 为 惯性 因子 (5 >0 )， 其 值 越 大 ， 
全 局 寻 优 能 力 越 强 , 其 值 越 小 , 局 部 寻 优 能 力 越 强 。C 和 C, 为 
称 为 加 速 常 数 ， 一 般 的 C = C, s[0,4] ， random(0,D 表示 区 间 
[0,1] 上 的 均匀 随机 数 ， ppesz (6) 为 第 ;个 粒子 当前 最 好 位 置 ， 
gbest(k) 为 整个 粒子 群 当前 的 最 好 位 置 

c) 终 止 条 件 。 有 两 种 终止 条 件 可 以 选择 : 一 是 达到 最 大 代 

数 G，， 二 是 连续 六 代 环境 适应 度 值 不 在 发 生变 化 即 停止 。 


2 ”应 用 实例 实验 


2.1 结晶 器 液 位 控制 的 描述 

如 图 3 所 示 ， 连 铸 工 艺 结晶 器 液 位 控制 流程 可 简 述 如 下 ;: 
钢 液 从 钢 包 (1) 通过 滑动 水 口 流向 中 间 包 (2), 控制 系统 根据 
浇铸 速度 通过 塞 棒 (3) 的 上 下 移动 控制 中 间 包 水 口 的 开 度 。 通 


时 间 陡 然 增加 ， 几 乎 无 法 运行 。 改 进 后 的 CARLA 学 习 次 数 与 
算法 执行 时 间 为 线性 关系 , 与 改进 前 相 比 , 计算 时 间 大 大 缩短 ， 
算法 的 实时 性 显著 提高 。 


0 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 一 . 
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图 2 改进 前 、 后 CARLA 算法 执行 时 间 


1.3 PSO 学 习 环 路 设计 

PSO 最 初 由 Kennedy 和 Eberhart 提出 09, 最 初 是 起 源 于 对 
简单 社会 系统 的 模拟 。 PSO 结合 了 鸟 类 的 认 知 行为 和 社会 合 
作 。 该 方法 在 解决 非 线 性 。 不 可 微 、 多 极点 、 高 维 问 题 上 具有 
很 好 的 鲁 棒 性 (7。PSO 模仿 鸟 群 。 鱼 群 的 群集 行为 ， 这 些 群 体 
按照 一 种 合作 的 方式 寻找 食物 ， 和 群体 中 的 成 员 学 习 它 自身 的 经 
念 和 其 他 成 员 的 经 验 不 断 改变 其 搜索 模式 。PSO 同 遗 传 算法 类 
似 ， 是 一 种 基于 迭代 的 优化 算法 。 系 统 初始 化 为 一 组 随机 解 ， 
通过 迭代 搜寻 最 优 值 。PSO 学 习 环 路 设计 主要 有 如 下 几 步 : 

a) 初始 人 化。 设置 粒子 群 的 大 小 N， 初 始 位 


过 控制 从 中 间 包 流向 结晶 器 (4) 钢 液 的 流量 来 控制 结晶 器 液 位 
的 稳定 。 液 位 传感器 (5) 将 结晶 器 液 位 变化 传 给 控制 器 (6)， 
控制 器 驱动 塞 棒 升 降 机 构 〈7) 改变 塞 棒 位 置 ,控制 中 间 包 到 结 
晶 器 的 钢 液 流量 ， 从 而 达到 结晶 器 液 位 稳定 的 目的 。 

结晶 器 液 位 控制 具有 非 线 性 、 时 灌 、 干 扰 因 素 多 的 特点 ， 
常规 的 PID 控制 器 很 难 取得 满意 的 控制 效果 。 在 这 种 情况 下 吸 
取 智 能 控制 思想 并 利用 计算 机 技术 的 优势 对 传统 PID 控制 进行 
改造 ， 成 为 当前 连 铸 生产 工艺 结晶 器 液 位 控制 研究 的 热点 。 本 
文 尝试 使 用 上 述 组 合 模 型 对 传统 PID 控制 器 进行 改进 ， 实 现 结 
晶 器 控制 器 参数 在 线 学 习 优化 。 
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图 3 结晶 器 液 位 控制 系统 结构 图 


2.2” 液 位 控制 模型 与 参数 
本 文 对 唐山 某 钢 厂 2 号 连 铸 机 液 位 控制 对 象 进行 系统 辨识 ， 


X， ={X ,和 X}， 初 始 速度 WwW,(0) = {Vi,V…,V,}， 最 大 速 


度 区 间 Vs 本 
b) 更 新 速度 和 位 置 公式 。 
Valk+D=OV(R+Va(k+D+Vaa(k+D) (0) 


Xk+D)= XR + Vk+D) 0) 


主要 参数 如 表 1 所 示 。 为 了 用 参数 辨识 法 获得 对 象 的 模型 ， 以 

液压 伺服 阀 开 度 作为 系统 输入 变量 ， 结 晶 器 液 位 为 系统 输出 变 

最 小 二 乘法 辨识 系统 模型 ， 所 得 传递 函数 为 
0.08s +1 , 

0.11s* +0.1s +0.002 


三 


YA 
量 。 采 用 


G(s)= 


201805.00381v1 


chinaXiv 


录用 稿 


表 1 液 位 控制 模型 参数 


参数 名 称 参数 符号 参数 取 值 
拉 坏 速度 V 2.3m/ min 
结晶 器 长 度 L 900mm 
铸 坏 断面 〈8) S 160mm*160mm 


2.3 ”环境 适应 度 函数 的 定 

在 设计 结晶 器 液 位 控制 器 时 ， 首 先 应 该 定义 控制 器 性 
能 评价 函数 〈 也 称 环 境 适 应 度 函 数 )。 典 型 的 时 域 输 出 性 能 指标 
we 上 升 时 间 、 稳 态 时 间 、 稳 态 误差 。 

总 的 来 讲 ， 常 见 的 控制 器 性 能 评价 准则 有 四 种 ， 综 合 绝对 误差 


CIAE，J = Adldw ), 平方 误差 积分 (ISE，J =|(Ae)*dr )， 时 
间 加 权 绝 对 误差 积分 TTAE，J= tjAe|dr )， 时 间 加 权 平 方 误 


差 积 分 (ITSE，J = [i(Ae)’ dr )。 每 一 种 评价 准则 都 有 各 自 的 优 


缺点 。 通过 最 小 化 IAE, ISE 能 够 有 效 减 小 超 调 量 , 但 对 缩短 稳 
态 时 间 的 影响 很 小 , ITAE、ITSE 可 以 克服 前 者 的 不 足 , 但 解析 
公式 的 推导 比较 复杂 耗 时 。 考 虑 到 结晶 器 液 位 控制 实际 要 求 ， 
本 文采 用 ITSE 评价 准则 , CARLA-PSO 环境 适应 度 函数 定义 如 
J*= yn 三 六 可 (8) 
其 中 : y 实际 响应 曲线 ， y 为 理想 响应 曲线 ，7 为 采样 次 数 ， 


上 为 CARLA-PSO 和 迭代 学 习 的 次 数 。 
2.4 仿真 结果 分 析 

依据 结晶 器 液 位 PID 控制 器 实际 调 参 经 验 ， 设 置 k,、k、 
k, 的 动作 集 区 间 分 别 为 [0,2] ，[0,1] ，[0,2] ; 初始 化 CARLA 学 
习 速 率 因 子 o =0.1; 粒子 群 大 小 N=300， 粒子 初始 速度 
V,(0) ={0,0…,0} ， 粒 子 搜索 速度 区 间 为 [-0.5,0.5] ， 惯 性 因子 
6 《65>0) 典型 取 值 为 0.4 或 0.9， 因 为 后 期 为 “微调 ”阶段 ， 
所 以 8 取 值 应 较 小 ， 取 0.4，C, = C,=0.8。 结 晶 器 液 位 控制 系 
统 输入 信号 为 单位 阶 跃 信号 ， 结 晶 器 液 位 采样 时 间 为 50s。 
图 44) 给 出 了 原 系统 在 无 控制 器 作用 下 的 响应 曲线 〈 实 线 
存在 明显 的 超 调 和 稳 态 误差 并 且 响 应 时 间 过 长 。 虚 线 为 
想 响 应 曲线 。b) c) 4q) 给 出 了 具有 代表 性 的 三 次 学 习 过 程 ， 
4 次 迭代 优化 后 适应 度 值 下 降 了 近 一 半 。 当 连 代 优化 次 数 达 
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沙 站 
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速度 快 的 优点 ， 与 CARLA 算法 、PSO 算法 相 比 较 ， 具 有 更 快 
的 收敛 速度 和 更 高 的 优化 精度 


第 0 次 学 习 (J=18.119) 第 4 次 学 习 (J=9.0924) 
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划 中 | 
和 媒 05| 
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本 文 讨论 了 CARLA 模型 ， 并 对 传统 CARLA 更 新 行为 函 
数 进行 了 修改 , 设计 了 一 种 改进 的 CARLA, 提高 了 CARLA 算 
法 的 执行 速率 ， 增 强 了 算法 的 实用 性 。 在 此 基础 上 ， 结 合 PSO 
算法 ， 建 立 了 CARLA-PSO 组 合 优化 模型 。 该 模型 能 够 自主 学 
习 控 制 规则 ， 收 敛 速度 快 ， 精 度 高 。 最 后 将 模型 用 于 连 铸 结 晶 
器 液 位 控制 中 ， 仿 真实 验 表 明 ， 在 与 环境 进行 多 次 交互 后 ， 模 
型 可 自主 获取 较 好 的 结晶 器 液 位 控制 规律 ， 与 CARLA 单独 作 


业 流 


100 次 后 系统 响应 曲线 无 明显 超 调 ， 响 应 时 间 大 大 缩短 ， 适 
应 度 值 下 降 至 最 初 的 10%。 此 时 , 优化 策略 选择 器 断 开 CARLA 
学 习 环 路 ， 接 通 PSO 学 习 环 路 ， 系 统 进 入 后 期 优化 阶段 ， 
CARLA-PSO 从 代 优化 500 次 后 系统 响应 接近 理想 状态 。 e) 为 
CARLA-PSO 算法 收敛 曲线 。 

为 了 验证 CARLA-PSO 算法 的 性 能 ， 本 文 给 出 了 CARLA 
与 PSO 算法 单独 作用 下 的 适应 度 收敛 效果 ， 如 图 5 所 示 。 
CARLA-PSO 算法 结合 了 CARLA 全 局 搜索 能 力 强 与 PSO 更 新 


l 


于 系统 相 比 ，CARLA-PSO 收敛 速度 快 ， 优 化 效率 高 。 对 于 
该 模型 下 一 步 研究 的 重点 是 连 铸 其 他 控制 环节 ， 并 用 于 真实 的 
结晶 器 液 位 控制 系统 或 其 他 被 控 对 象 。 
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